NLP stuff

پیشرفت بس است، متوقفش کنید!

خبر جدید این که جمعی از دانشمندان، صاحبان فناوری و علاقه‌مندان به هوش مصنوعی (از بنجیو گرفته تا ایلان ماسک و گری مارکوس و حتی بنیانگذار stable-diffusion) با انتشار نامه‌ای سرگشاده با ابراز نگرانی از بابت پیشرفت سریع هوش مصنوعی، از آزمایشگاه‌های هوش مصنوعی دنیا خواسته‌اند که آموزش دادن مدل‌های هوش مصنوعی قوی‌تر از GPT-4 را به مدت حداقل ۶ ماه متوقف کنند. این دوستان در این نامه گفته‌اند که با این که هوش مصنوعی می‌تونه بشر رو وارد دوره جدیدی از تاریخ تمدنش کنه اما در صورتی که برنامه‌ریزی صحیحی برای نحوه مدیریت هوش مصنوعی صورت نگیره این پدیده به عکس می‌تونه موجب بروز رخدادهای سیاهی بشه. همونطور که در طی چند وقت اخیر شاهد رقابتی دیوانه‌کننده میان شرکت‌های غول بزرگ برای آموزش مدل‌های بزرگ و بهتر هستیم و البته حاصل این رقابت ظهور مدل‌های بسیار هوشمندی نظیر GPT هست که حتی سازندگان اون هم نمی‌تونن نحوه بروز هوشمندیش رو درک، پیش‌بینی و یا کنترلش کنند.

در بخش دیگه‌ای از این نامه سوال‌های جالبی مطرح شده. آیا ما باید تمامی مشاغل را اتومات و ماشینی کنیم؟ آیا باید کورکورانه به سمت ایجاد هوش مصنوعی‌هایی حرکت کنیم که در نهایت ممکن است جایگزین تمدن انسانی ما شوند؟ این دوستان نوشته‌اند که توسعه هوش مصنوعی مساله‌ای نیست که فقط مربوط به توسعه‌دهندگان این حوزه باشد و کل جامعه بشری را در بر می‌گیرد. بنابراین از آزمایشگاه‌های هوش مصنوعی دنیا خواسته‌اند که آموزش مدلی قدرتمند‌تر از GPT-4 را به مدت حداقل ۶ ماه متوقف کنند و نکته جالب این که گفته‌اند اگر این توقف امکان‌پذیر نباشد در این صورت دولت‌ها باید وارد عمل شده و این توقف را اعمال کنند.

این دوستان سپس نوشته‌اند که بعد از اعمال توقف، از این مکث برای طراحی و اجرای مجموعه‌ای از پروتکل‌های ایمنی مشترک برای توسعه هوش مصنوعی استفاده کرد. در ادامه تحقیق و توسعه هوش مصنوعی باید بر ساختن سیستم‌های دقیق‌تر، ایمن‌تر، قابل‌تفسیرپذیر‌تر، شفاف‌تر و همسو‌تر متمرکز شود. همچنین به صورت موازی، توسعه‌دهندگان هوش مصنوعی بایستی که به دنبال ایجاد رگولاتوری‌هایی برای حل بعضی چالش‌های استفاده از هوش مصنوعی باشند. برای مثال وضع یک واترمارکینگ مشخص برای تشخیص آثار هوش مصنوعی از هوش واقعی، نظارت و ردیابی سیستم‌های هوش مصنوعی و همچنین تلاش برای مقابله با اخلالات ناشی از سواستفاده‌های هوش مصنوعی در مسائل اقتصای و سیاسی از جمله این مسائلند.

این که چرا در این بحبوحه افراد بزرگ و معروفی این نامه عجیب را منتشر کرده‌اند خود سوال بزرگی است اما هر کدام از این افراد احتمالا با انگیزه‌های متفاوتی از محتوای این نامه حمایت کرده‌اند. بعضی انگیزه‌های محتمل این موارد هستند:

- نزدیک‌شدن به نقطه عطف هوش مصنوعی صنعتی: همانطور که شاهد هستیم اگر قبل از این در هوش مصنوعی آکادمی سعی می‌کرد تا با صنعت رقابت کند اما سطح رقابت اکنون به حدی رسیده است که گوگل نیز توانایی رقابت با Open-AI را ندارد. همچنین شایعاتی وجود دارد که Open-AI در حال آموزش دادن مدل GPT-5 است. با توجه به سیاست‌های مخفیانه این شرکت این امکان وجود دارد که روند تحولات هوش مصنوعی از دست سایر بازیگران خارج شده و به یک مونوپلی ترسناک تبدیل شود. (حال آن که ما الان هم واقعا نمی‌دانیم آیا Open-AI مدلی هوشمندتر از GPT را آموزش داده یا خیر!)

- نگرانی‌های واقعی بابت ریسک‌ها و احتمال بروز فاجعه‌های اجتماعی: ما اکنون با تعداد زیادی مدل‌‌های هوش مصنوعی در مودال‌های مختلف نظیر تصویر و متن و ... مواجه هستیم. عدم توجه به خطرات و ریسک‌های آن می‌تواند منجر به شرایط پیش‌بینی‌نشده ناخواسته شود. از تولید محتواهای مستهجن گرفته تا احتمال جانشینی عوامل انسانی با عوامل هوش مصنوعی و بروز موج بیکاری می‌تواند تنها بخشی از این خطرات پیش‌بینی‌ناشده باشد.

- خوابیدن هایپ هوش مصنوعی یا حتی تغییر مسیر رشد آن: هوش مصنوعی تا به امروز به صورت چراغ خاموش مشغول حرکت و رشد بوده است، اما در چند سال اخیر و مخصوصا بعد از انتشار chat-gpt توجه طیف زیادی از مردم عامه به آن جلب شد (خودتان در توییتر فارسی شاهد آن هستید!) در این بیان بسیاری از مردم بدون داشتن دانش خاصی از هوش مصنوعی توانستند چالش‌های chat-gpt را کشف کنند. ادامه وضع فعلی در مسیر پیشرفت هوش مصنوعی یا می‌تواند منجر به بدبین‌شدن جامعه نسبت به آن و خوابیدن هایپ آن و واردشدن هوش به زمستانی دیگر شود یا این که توسعه کورکورانه با نیت آموزش مدل‌ بزرگتر می‌تواند باعث خارج شدن مسیر تحقیقات دانشمندان هوش مصنوعی از چالش‌های اصلیتر و واردشدن تمرکز و انرژی آن‌ها بر رقابت بیهوده برای مدل‌های بزرگتر و بزرگتر شود.


لینک نامه:
https://futureoflife.org/open-letter/pause-giant-ai-experiments/


#read
#news

@nlp_stuff

Future of Life Institute

Pause Giant AI Experiments: An Open Letter - Future of Life Institute

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.

www.tg-me.com/br/NLP stuff/com.nlp_stuff/324

9.9K viewsedited  Mar 29, 2023 at 13:59

پیشرفت بس است، متوقفش کنید!

خبر جدید این که جمعی از دانشمندان، صاحبان فناوری و علاقه‌مندان به هوش مصنوعی (از بنجیو گرفته تا ایلان ماسک و گری مارکوس و حتی بنیانگذار stable-diffusion) با انتشار نامه‌ای سرگشاده با ابراز نگرانی از بابت پیشرفت سریع هوش مصنوعی، از آزمایشگاه‌های هوش مصنوعی دنیا خواسته‌اند که آموزش دادن مدل‌های هوش مصنوعی قوی‌تر از GPT-4 را به مدت حداقل ۶ ماه متوقف کنند. این دوستان در این نامه گفته‌اند که با این که هوش مصنوعی می‌تونه بشر رو وارد دوره جدیدی از تاریخ تمدنش کنه اما در صورتی که برنامه‌ریزی صحیحی برای نحوه مدیریت هوش مصنوعی صورت نگیره این پدیده به عکس می‌تونه موجب بروز رخدادهای سیاهی بشه. همونطور که در طی چند وقت اخیر شاهد رقابتی دیوانه‌کننده میان شرکت‌های غول بزرگ برای آموزش مدل‌های بزرگ و بهتر هستیم و البته حاصل این رقابت ظهور مدل‌های بسیار هوشمندی نظیر GPT هست که حتی سازندگان اون هم نمی‌تونن نحوه بروز هوشمندیش رو درک، پیش‌بینی و یا کنترلش کنند.

در بخش دیگه‌ای از این نامه سوال‌های جالبی مطرح شده. آیا ما باید تمامی مشاغل را اتومات و ماشینی کنیم؟ آیا باید کورکورانه به سمت ایجاد هوش مصنوعی‌هایی حرکت کنیم که در نهایت ممکن است جایگزین تمدن انسانی ما شوند؟ این دوستان نوشته‌اند که توسعه هوش مصنوعی مساله‌ای نیست که فقط مربوط به توسعه‌دهندگان این حوزه باشد و کل جامعه بشری را در بر می‌گیرد. بنابراین از آزمایشگاه‌های هوش مصنوعی دنیا خواسته‌اند که آموزش مدلی قدرتمند‌تر از GPT-4 را به مدت حداقل ۶ ماه متوقف کنند و نکته جالب این که گفته‌اند اگر این توقف امکان‌پذیر نباشد در این صورت دولت‌ها باید وارد عمل شده و این توقف را اعمال کنند.

این دوستان سپس نوشته‌اند که بعد از اعمال توقف، از این مکث برای طراحی و اجرای مجموعه‌ای از پروتکل‌های ایمنی مشترک برای توسعه هوش مصنوعی استفاده کرد. در ادامه تحقیق و توسعه هوش مصنوعی باید بر ساختن سیستم‌های دقیق‌تر، ایمن‌تر، قابل‌تفسیرپذیر‌تر، شفاف‌تر و همسو‌تر متمرکز شود. همچنین به صورت موازی، توسعه‌دهندگان هوش مصنوعی بایستی که به دنبال ایجاد رگولاتوری‌هایی برای حل بعضی چالش‌های استفاده از هوش مصنوعی باشند. برای مثال وضع یک واترمارکینگ مشخص برای تشخیص آثار هوش مصنوعی از هوش واقعی، نظارت و ردیابی سیستم‌های هوش مصنوعی و همچنین تلاش برای مقابله با اخلالات ناشی از سواستفاده‌های هوش مصنوعی در مسائل اقتصای و سیاسی از جمله این مسائلند.

این که چرا در این بحبوحه افراد بزرگ و معروفی این نامه عجیب را منتشر کرده‌اند خود سوال بزرگی است اما هر کدام از این افراد احتمالا با انگیزه‌های متفاوتی از محتوای این نامه حمایت کرده‌اند. بعضی انگیزه‌های محتمل این موارد هستند:

- نزدیک‌شدن به نقطه عطف هوش مصنوعی صنعتی: همانطور که شاهد هستیم اگر قبل از این در هوش مصنوعی آکادمی سعی می‌کرد تا با صنعت رقابت کند اما سطح رقابت اکنون به حدی رسیده است که گوگل نیز توانایی رقابت با Open-AI را ندارد. همچنین شایعاتی وجود دارد که Open-AI در حال آموزش دادن مدل GPT-5 است. با توجه به سیاست‌های مخفیانه این شرکت این امکان وجود دارد که روند تحولات هوش مصنوعی از دست سایر بازیگران خارج شده و به یک مونوپلی ترسناک تبدیل شود. (حال آن که ما الان هم واقعا نمی‌دانیم آیا Open-AI مدلی هوشمندتر از GPT را آموزش داده یا خیر!)

- نگرانی‌های واقعی بابت ریسک‌ها و احتمال بروز فاجعه‌های اجتماعی: ما اکنون با تعداد زیادی مدل‌‌های هوش مصنوعی در مودال‌های مختلف نظیر تصویر و متن و ... مواجه هستیم. عدم توجه به خطرات و ریسک‌های آن می‌تواند منجر به شرایط پیش‌بینی‌نشده ناخواسته شود. از تولید محتواهای مستهجن گرفته تا احتمال جانشینی عوامل انسانی با عوامل هوش مصنوعی و بروز موج بیکاری می‌تواند تنها بخشی از این خطرات پیش‌بینی‌ناشده باشد.

- خوابیدن هایپ هوش مصنوعی یا حتی تغییر مسیر رشد آن: هوش مصنوعی تا به امروز به صورت چراغ خاموش مشغول حرکت و رشد بوده است، اما در چند سال اخیر و مخصوصا بعد از انتشار chat-gpt توجه طیف زیادی از مردم عامه به آن جلب شد (خودتان در توییتر فارسی شاهد آن هستید!) در این بیان بسیاری از مردم بدون داشتن دانش خاصی از هوش مصنوعی توانستند چالش‌های chat-gpt را کشف کنند. ادامه وضع فعلی در مسیر پیشرفت هوش مصنوعی یا می‌تواند منجر به بدبین‌شدن جامعه نسبت به آن و خوابیدن هایپ آن و واردشدن هوش به زمستانی دیگر شود یا این که توسعه کورکورانه با نیت آموزش مدل‌ بزرگتر می‌تواند باعث خارج شدن مسیر تحقیقات دانشمندان هوش مصنوعی از چالش‌های اصلیتر و واردشدن تمرکز و انرژی آن‌ها بر رقابت بیهوده برای مدل‌های بزرگتر و بزرگتر شود.


لینک نامه:
https://futureoflife.org/open-letter/pause-giant-ai-experiments/


#read
#news

@nlp_stuff

BY NLP stuff